Tên Hafnarfjörður có nghĩa là Vịnh hẹp có Cảng, vì có 1 Cảng tự nhiên rất đẹp. Tên thành phố được ghi trong Sổ "Landnámabók" - sổ ghi khoảng 3.000 tên người và 1.400 địa danh ở Iceland - được viết vào cuối thế kỷ 12.

Các người Anh bắt đầu tới buôn bán ở Hafnarfjörður trong thế kỷ 15, rồi tới các người Đức tới đây buôn bán và hất cẳng các người Anh. Sau đó Liên đoàn Hanse thắng thế cho tới năm 1602, khi vương quốc Đan Mạch thiết lập độc quyền thương mại ở Iceland tới cuối thế kỷ 18. Trong thời kỳ này, Hafnarfjörður là trung tâm buốn bán của toàn quốc.

Năm 1793, Bjarni Sívertsen tới đây định cư, mở ra nghề đánh bắt và chế biến cá, và trở thành nhà buôn đầy thế lực. Ông ta đã được gọi là "cha đẻ của Hafnarfjörður" với tên hiệu "Sir Bjarni." Thành phố tiếp tục phát triển nhờ kỹ nghệ đánh bắt và chế biến cá.

Một xa lộ nối giao thông giữa Reykjavík và Hafnarfjörður được xây dựng hoàn tất năm 1898.

Năm 1908, thành phố được chính thức nâng lên hàng thị xã.

Nhà máy thủy điện đầu tiên của Iceland được xây dựng ở Hafnarfjörður năm 1904 và năm 1912 Cảng Hafnarfjörður được mở rộng cho các tàu lớn.